室外(OOD)检测是面向任务的对话框系统中的关键组件,旨在确定查询是否不在预定义的支持的意图集之外。事实证明,先前基于软磁性的检测算法对OOD样品被过度自信。在本文中,我们分析了过度自信的OOD来自由于训练和测试分布之间的不匹配而导致的分布不确定性,这使得该模型无法自信地做出预测,因此可能导致异常软磁得分。我们提出了一个贝叶斯OOD检测框架,以使用Monte-Carlo辍学来校准分布不确定性。我们的方法是灵活的,并且可以轻松地插入现有的基于软磁性的基线和增益33.33 \%OOD F1改进,而与MSP相比仅增加了0.41 \%的推理时间。进一步的分析表明,贝叶斯学习对OOD检测的有效性。
translated by 谷歌翻译
深度神经网络(DNNS)在各个领域都取得了出色的性能。但是,DNNS对对抗性示例(AE)的脆弱性阻碍了他们的部署到关键的安全应用程序。本文提出了一个新颖的AE检测框架,以值得信赖的预测为止。除了通过区分AE的异常关系与其增强版本(即邻居)与两个前景:表示相似性和标签一致性来区分检测。与监督的学习模型相比,使用现成的自我监督学习(SSL)模型用于提取表示形式,并预测其高度信息代表能力的标签。对于干净的样本,它们的表示和预测与邻居密切一致,而AE的邻居差异很大。此外,我们解释了这一观察结果,并表明,通过利用这种差异可以有效地检测到AE。我们为超越的有效性建立了严格的理由。此外,作为一种插件模型,超越的范围可以轻松与受过对抗训练的分类器(ATC)合作,从而实现最先进的(SOTA)鲁棒性精度。实验结果表明,超越表现的基线较大,尤其是在自适应攻击下。在SSL上建立的强大关系网络的授权下,我们发现超出了检测能力和速度方面优于基准。我们的代码将公开可用。
translated by 谷歌翻译
文本后门攻击是对NLP系统的实际威胁。通过在训练阶段注入后门,对手可以通过预定义的触发器控制模型预测。由于已经提出了各种攻击和防御模型,因此进行严格的评估至关重要。但是,我们在以前的后门学习评估中重点介绍了两个问题:(1)忽略了现实世界情景(例如释放中毒的数据集或模型)之间的差异,我们认为每种情况都有其自身的限制和关注点,因此需要特定的评估。协议; (2)评估指标仅考虑攻击是否可以翻转模型对中毒样品的预测并保留对良性样品的表演,但是忽略了中毒样品也应该是隐秘和语义上的。为了解决这些问题,我们将现有作品分为三种实际情况,在这种情况下,攻击者分别释放数据集,预培训模型和微调模型,然后讨论其独特的评估方法。关于指标,为了完全评估中毒样本,我们使用语法误差增加和隐形性差异以及有效性的文本相似性。对框架进行正式化后,我们开发了一个开源工具包openbackdoor,以促进文本后门学习的实现和评估。使用此工具包,我们在建议的范式下进行基准攻击和防御模型进行广泛的实验。为了促进针对中毒数据集的不充分的防御能力,我们进一步提出了Cube,这是一个简单而强大的基于聚类的防御基线。我们希望我们的框架和基准可以作为未来模型开发和评估的基石。
translated by 谷歌翻译
结构磁共振成像研究表明,大脑解剖异常与早产儿的认知缺陷有关。脑成熟和几何特征可以与机器学习模型一起使用,以预测以后的神经发育缺陷。但是,传统的机器学习模型将遭受较大的功能比率(即大量功能,但少数实例/样本)。合奏学习是一种范式,从战略上生成和集成了机器学习分类器库,并已成功地用于各种预测性建模问题,以提高模型性能。属性(即功能)包装方法是最常用的特征分区方案,它随机和反复从整个功能集中绘制特征子集。尽管属性装袋方法可以有效地降低特征维度以处理大型功能与实用比率,但它缺乏对域知识和特征之间的潜在关系的考虑。在这项研究中,我们提出了一种新型的本体论引导属性分区(OAP)方法,以通过考虑特征之间的特定于域的关系来更好地绘制特征子集。有了更好的分区功能子集,我们开发了一个合奏学习框架,该框架称为OAP汇总学习(OAP-EL)。我们应用了OAP-EL,以使用定量脑成熟和在非常早产的年龄在期限年龄获得的定量脑成熟和几何特征来预测2岁年龄的认知缺陷。我们证明,提出的OAP-EL方法显着优于同行集合学习和传统的机器学习方法。
translated by 谷歌翻译
青光眼是可能导致盲目的眼科疾病之一,早期检测和治疗非常重要。眼底图像和光学相干性断层扫描(OCT)图像均为广泛使用的诊断青光眼的方式。然而,现有的青光眼分级方法主要利用单一的方式,忽略眼底和OCT之间的互补信息。在本文中,我们提出了一个有效的多种式监督对比的对比学习框架,名为Corolla,用于青光眼分级。通过层分割以及厚度计算和投影,从原始OCT卷中提取视网膜厚度图,并用作更换的模态,导致更有效的计算,内存使用较少。鉴于医学图像样本的高结构和分布相似之处,我们采用了监督的对比学习,以提高模型的歧视力,更好地融合。此外,对成对的眼底图像和厚度图的特征级融合以提高诊断精度。在Gamma DataSet上,与最先进的方法相比,我们的Corolla框架达到了压倒性的青光眼分级性能。
translated by 谷歌翻译
实现通用语言情报是自然语言处理的长期目标,标准评估基准发挥基本和指导作用。我们认为,对于通用语言智能评估,基准本身需要全面和系统。为此,我们提出了Cuge,一种中文语言理解和生成评估基准,具有以下特征:(1)分层基准框架,其中数据集主要选择和组织语言能力 - 任务数据集层次结构。 (2)多级评分策略,其中基于分层框架提供了不同级别的模型性能。为了促进CUGE,我们提供了一个公共排行榜,可以自定义,以支持灵活的模型判断标准。代表性预先训练的语言模型的评估结果表明了对通用语言智能的完善的充足空间。 Cuge在Cuge.baai.ac.cn上公开提供。
translated by 谷歌翻译
稀有事件仿真技术,如重要采样(是),构成强大的工具,以加速罕见灾难性事件的具有挑战性的估算。这些技术经常利用底层系统结构的知识和分析,以赋予赋予理想的效率保证。然而,黑匣子问题,特别是来自最近AI驱动的物理系统的安全关键型应用的问题,可以从根本上破坏他们的效率担保,并在没有诊断地检测的情况下导致危险的估计。我们提出了一个框架,称为深度概率加速评估(Deep-Prae)来设计统计保障是通过转换多功能的黑匣子采样器,但可能缺乏保证,以便我们称之为放松的效率证明,允许准确估计界限。论罕见事件概率。我们介绍了深度PRAE理论,将主导点概念与稀有事件集合通过深度神经网络分类器进行了学习,并证明了其在数值例子中的有效性,包括智能驾驶算法的安全测试。
translated by 谷歌翻译
在元学习框架下设计了许多射门学习方法,这些方法从各种学习任务中学习并推广到新任务。这些元学习方法在从同一分布(I.I.D.观察)中绘制的所有样本中的情况下实现了预期的性能。然而,在现实世界应用中,很少拍摄的学习范式往往遭受数据转移,即,即使在相同的任务中,也可以从各种数据分布中汲取不同任务中的示例。大多数现有的几次拍摄方法不考虑数据班次,因此在数据分布换档时显示降级性能。然而,由于每个任务中的标记样本数量有限的标记样本,因此在几次拍摄学习中解决数据转换问题是不普遍的。针对解决此问题,我们提出了一种新的基于度量的元学习框架,以便在知识图表的帮助下提取任务特定的表示和任务共享表示。因此,任务内的数据偏移可以通过任务共享和特定于任务的表示的组合来组合。拟议的模型是对流行的基准测试和两个构造的新具有挑战性的数据集。评估结果表明了其显着性能。
translated by 谷歌翻译
Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.
translated by 谷歌翻译
Designing experiments often requires balancing between learning about the true treatment effects and earning from allocating more samples to the superior treatment. While optimal algorithms for the Multi-Armed Bandit Problem (MABP) provide allocation policies that optimally balance learning and earning, they tend to be computationally expensive. The Gittins Index (GI) is a solution to the MABP that can simultaneously attain optimality and computationally efficiency goals, and it has been recently used in experiments with Bernoulli and Gaussian rewards. For the first time, we present a modification of the GI rule that can be used in experiments with exponentially-distributed rewards. We report its performance in simulated 2- armed and 3-armed experiments. Compared to traditional non-adaptive designs, our novel GI modified design shows operating characteristics comparable in learning (e.g. statistical power) but substantially better in earning (e.g. direct benefits). This illustrates the potential that designs using a GI approach to allocate participants have to improve participant benefits, increase efficiencies, and reduce experimental costs in adaptive multi-armed experiments with exponential rewards.
translated by 谷歌翻译